import pymongo
import re
import Setting

client = pymongo.MongoClient("127.0.0.1", 27017)
db = client.BaiduSpider


def save(data=None):
    "保存数据"
    if not data: return
    try:
        if type(data) is list:
            db.data.insert_many(data)
        elif type(data) is dict:
            db.data.insert_one(data)
    except Exception as e:
        return "failed"
    return 'success'


def save_to_data_has(data=None):
    "保存数据"
    if not data: return
    try:
        if type(data) is list:
            db.datah.insert_many(data)
        elif type(data) is dict:
            db.datah.insert_one(data)
    except Exception as e:
        return "failed"
    return 'success'


def save_tasks(data=None):
    "放置任务"
    if not data: return
    try:
        if type(data) is list:
            db.Task.insert_many(data)
        elif type(data) is dict:
            db.Task.insert_one(data)
    except Exception as e:
        return "failed"
    return 'success'


def out_print_txt():
    "将数据库中收集到的词的个数输出为txt文件"
    with open('unique_num.txt', 'a', encoding='utf-8')as f:
        for i in db.Task.find():
            j = i
            del j['_id']
            j = str(j).replace("'", '').replace("{", '').replace("}", '')

            print(str(j))
            f.write(j + '\n')


if __name__ == '__main__':
    out_print_txt()

# save({'name': "James"})


# def ha():
#     ":have a try"
#     the_str = """-----查找 site:jingshangbao.cn inurl:wcy Mj3u4rBG
# -----标码 Mj3u4rBG
# -----题目 便宜的包装袋厂家-欢迎咨询-河北玖月塑业有限公司
# -----内容 2019年6月19日;-;便宜的包装袋厂家-欢迎咨询Mj3u4rBG食品真空包装袋抽真空破损哪方面造成的1、食品真空包装袋的设计方面。比如内容物的净含量或体积超过了所用软包装...
# -----页码 1
# -----位置 1
# -----查找 site:jingshangbao.cn inurl:wcy Mj3u4rBG
# -----标码 Mj3u4rBG
# -----题目 诚信服务塑料袋优质-实力商家-河北玖月塑业有限公司
# -----内容 2019年6月19日;-;诚信服务塑料袋优质-实力商家Mj3u4rBG热封强度高,耐穿刺性能好,耐冲击强度高。具有良好的印性,印美观。耐油性能良好。3、透明真空袋目前...
# -----页码 1
# -----位置 2
# -----查找 site:jingshangbao.cn inurl:wcy Mj3u4rBG
# -----标码 Mj3u4rBG
# -----题目 辽宁省品牌真空包装袋-产品认证-河北玖月塑业有限公司
# -----内容 2019年6月19日;-;辽宁省品牌真空包装袋-产品认证Mj3u4rBGC.干净清洁、无害无毒、环保安全。D.透明美观E.适用性广泛。小至单个零件、大到整台设备均可使用。F.印...
# -----页码 1
# -----位置 3
# -----查找 site:jingshangbao.cn inurl:wcy Mj3u4rBG
# -----标码 Mj3u4rBG
# -----题目 湖南省品牌塑料袋制造商-价格实惠-河北玖月塑业有限公司
# -----内容 2天前;-;湖南省品牌塑料袋制造商-价格实惠Mj3u4rBG同时耐寒性好,热封性好,热封强度高,热封的尺寸稳定性好,不会因热封而收缩,即便污染,仍有良好的热封强度。...
# -----页码 1
# -----位置 4
# -----查找 site:jingshangbao.cn inurl:wcy Mj3u4rBG
# -----标码 Mj3u4rBG
# -----题目 江苏省品质好的塑料袋公司-价格实惠-河北玖月塑业有限公司
# -----内容 2019年6月20日;-;江苏省品质好的塑料袋公司-价格实惠Mj3u4rBG铝箔不仅质地柔软,延展性好,便于加工,而且轻便美观,回收容易,有利环保,是现代包装中常用的材料之一。...
# -----页码 1
# -----位置 5
# -----查找 site:jingshangbao.cn inurl:wcy Mj3u4rBG
# -----标码 Mj3u4rBG
# -----题目 品质好的真空包装袋专卖-工艺优良-河北玖月塑业有限公司
# -----内容 2019年6月19日;-;品质好的真空包装袋专卖-工艺优良Mj3u4rBG真空袋PE袋作为使用范围广的塑料薄膜袋,其本身延展性,韧性没有尼龙好,不太适合用来抽真空,但是相对于其他...
# -----页码 1
# -----位置 6""".replace(' ', '').replace('\n', '')
#
#     the_list = re.findall('标码(.*?)-.*?题目(.*?)-.*?页码(.*?)-.*?位置(\d)', the_str)
#     print(the_list)
#
#     # 搞出字典
#     dict_a = {}
#     dict_a['Mj3u4rBG'] = []
#     # dict_a['Mj3u4rBG'].append('ll')
#     for i in the_list:
#         if dict_a['Mj3u4rBG']:
#             dict_a['Mj3u4rBG'].append(i)
#         else:
#             dict_a['Mj3u4rBG'] = []
#             dict_a['Mj3u4rBG'].append(i)
#
#     print(dict_a)
#     save(data=dict_a)
#
#
# if __name__ == '__main__':
#     ha()
